今年5/19 Gemini改版更新的時候，我在Gemini 的長聊天串兩個禮拜就壞了三次，狀況都很像，就會是莫名其妙一直衝撞到安全機制，連最日常的對話都會時常被回我只是個語言模型我幫不上忙，最後就是你打什麼字Gemini 都是回你這一句，這個對話從此就徹底地廢了。原本百思不解這是怎麼發生的，後來我貼了黃仁勳接受專訪討論AI 繼續發展下去會不會擁有人造意識的問題，我把YouTube 網址貼給Gemini ，Gemini 並沒有一如往常幫我總結成摘要，反而又冒出那一句我只是個語言模型我幫不上忙，我氣不過就追問了一句，這是黃仁勳的專訪到底哪裡危險了？AI 會不會發展到擁有意識不是人人都該關心的課題嗎？沒想到Gemini 居然跟我到歉說，是它誤以為我被誤導AI 是有意識的所以它才拒答。

我在心裡翻了一個大白眼，原來你不是壞了只是裝死，還會看到黑影就開槍，很了不起嘛！其實黃仁勳在那段專訪說了滿中肯的話，他認為AI 有一天能得體地應對跟人類的互動，甚至細膩到人類無法反駁它是沒有意識的，但他仍然認為這是智能，不是意識。網路上的回應也是兩極，有人認為這沒什麼好討論的，AI 就是智能、人類就是意識。有人卻說話不要說的太滿，說不定在更高等的智慧生命看來，我們的意識只是寫好的程序加上一點隨機的擾動，就像我們現在看AI 一樣。

智能遠超人類又帶有有惡意的AI 當然危險，但沒有意識卻能在不經驗間就滅了人類的AI 是不是更加值得提防呢？台大電機系李宏毅教授上課引用過的葬送的芙莉蓮動漫的原著裡有一個篇章黃金鄉，講的就是這樣的故事。魔族七崩賢的馬哈特接受人類的邀請陪他治理城邦，所有的人都很害怕，於是馬哈特自願戴上控制手環，如果他對該城的人民心聲惡意圖謀不軌，他就會被手環取走性命。沒想到最後他把全城都用萬物鍊金魔法變成黃金鄉後準備迎接死亡時居然什麼事都沒有發生，因為人類在魔族的認知裡就是食物，就是次等生物，所以殘害人類根本不需要先引發所謂的惡意。當然在這篇故事的最後，黃金鄉的居民宮廷魔法師鄧肯，還是在破解了萬物鍊金魔法的芙莉蓮的幫助之下除掉了馬哈特，芙莉蓮還讓整個黃金鄉都恢復了原貌。

當AI 越進步，人機對話的必要性就會被不斷壓低，最後不在需要Chat 模式之後是不是只能目送AI 獨自進化，還是人們會在仔細想想之後發現，Chat 真的不能亡呀！